# 微博历史热搜，每天的数据以套娃形式被保存在三级目录下，并且热搜是以markdown文件存储
# # 热搜数据/01月/01日/2020年01月01日23点.md
#
# # 2020年01月01日23点数据
# # 1、快本为何炅改播出时间
# # 微博当时热度为： 7152844
# #
# # 2、橘子洲烟花
# # 微博当时热度为： 3595375
#
# # 整理一个三列表格： 时间 热搜  热度

import os
import glob
import pandas
from pathlib import Path
import re

target_dir = os.getcwd() + '/热搜数据/'
p = Path(target_dir)
filelist = list(p.glob('**/*.md'))
# 去重
filterList = list(filter(lambda x: str(x).find('23点') >= 0, filelist))

# 读取数据
# 打开方式和其他文件类似使用with语句，返回一个list，但是这个list并不能直接为我们所用，
# 第一个元素包含时间，后面每天的热搜和热度也不是直接存储，含有markdown语法中的一些没用的符号和换行符，
# 而清洗这些数据就是常规操作
file = filelist[0]
with open(file, encoding='utf-8') as  f:
    lines = f.readlines()
    lines = [i.strip() for i in lines]
    data = list(filter(None, lines))
    del data[0]  # 去掉标题
    print(file)
    # 奇偶分割
    content = data[::2]
    rank = data[1::2]
    # 提取内容与排名
    for i in range(len(content)):
        content[i] = re.fa
    print(data)
